Affective Body Expression Perception and Recognition: A Survey

Thanks to the decreasing cost of whole-body sensing technology and its increasing reliability, there is an increasing interest in, and understanding of, the role played by body expressions as a powerful affective communication channel. The aim of this survey is to review the literature on affective body expression perception and recognition. One issue is whether there are universal aspects to affect expression perception and recognition models or if they are affected by human factors such as culture. Next, we discuss the difference between form and movement information as studies have shown that they are governed by separate pathways in the brain. We also review psychological studies that have investigated bodily configurations to evaluate if specific features can be identified that contribute to the recognition of specific affective states. The survey then turns to automatic affect recognition systems using body expressions as at least one input modality. The survey ends by raising open questions on data collecting, labeling, modeling, and setting benchmarks for comparing automatic recognition systems.

全身センシング技術の低価格化と信頼性の向上により、感情コミュニケーションチャネルとしての身体表現への関心と理解が高まっています。本調査の目的は、感情的な身体表情の知覚・認識に関する文献をレビューすることである。一つは、表情知覚・認識モデルに影響を与える普遍的な側面があるのか、それとも文化などの人的要因に影響されるのか、という問題である。次に、形相情報と動作情報は脳内の別々の経路に支配されていることが研究で明らかになっているため、その違いについて議論する。また、身体形状を調査した心理学的研究をレビューし、特定の感情状態の認識に寄与する特定の特徴を特定できるかどうかを評価する。次に、少なくとも1つの入力モダリティとして身体表現を用いた自動的な感情認識システムについても調査しています。最後に、データ収集、ラベリング、モデル化、自動認識システムの比較のためのベンチマーク設定について、未解決の問題を提起し、調査を終了する。